NLL-Guided Full-Attention Layer Selection for Training-Free Sliding-Window Adaptation
用于免训练滑动窗口适配的NLL引导全注意力层选择
🧭 长上下文推理效率优化
Analemma
提出用答案标记的负对数似然下降来指导层选择，仅1/4全注意力层即接近1/2的精度
📌 工作参考价值（4 点）
- 对于需要长上下文的电商对话Agent或多文档RAG，可部署混合注意力模型，用该方法离线校准选择保留全注意力的层，显著降低推理延迟和KV cache开销
- 校准只需在目标数据集上计算每层用滑动窗口后的NLL下降，耗时约15分钟，无需训练，可快速适配新模型或新任务
- 该方法不依赖特定模型架构，可广泛应用于各种Hybrid Attention模型，灵活调整计算预算
- 在Agent设计中，若需要平衡长期记忆与推理效率，该层选择策略可作为推理成本的精细控制手段